双标的莱万——足球无关政治?!
本文作者:闫宇聪,中南财经政法大学金融学院
本文编辑:冀思慧
技术总编:王子一
Stata&Python云端课程来啦!
为了平衡团队运营成本,维系公众号的运营,也与国内动辄数千元的Stata课程缩短差距,我们的网课不得不上调价格,我们决定于2022年4月1日起调价,Python课程的价格调整为399.9元,Stata基础课程调为399.9元,Stata进阶课程调整到399.9元。大家可以告知一下身边想要购买的小伙伴,欲购从速哦,对报名有任何疑问欢迎在公众号后台和腾讯课堂留言~我们在这篇推文提供了每门课程的课程二维码,大家有需要的话可以直接扫描二维码查看课程详情并进行购买哦~
可以看到该网页的请求方式是get:
还有我们需要的请求头信息(最重要的是请求头中的user-agent信息):
接下来,我们使用xpath定位到评论,将评论挨个放入列表中,得到第一页所有的文字评论内容。
之后我们进行翻页操作,发现翻页后网页链接在html前出现了-2,因此我们可以使用一个循环,将所有的评论页都抓取下来。
完整代码如下:
#导包
import requests
from lxml import etree
import jieba
import jieba.analyse as anly
import numpy as np
import PIL.Image as Image
from wordcloud import WordCloud,ImageColorGenerator
#爬虫
all_comment=[]
for i in range(1,1000):
url = "https://bbs.hupu.com/52378643-%s.html" % i
headers={
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36"
}
html=requests.get(url, headers = headers)
html.encoding = 'utf-8'
tree = etree.HTML(html.text)
comment_xpath="//div[@class='post-reply-list-container']/div[@class='reply-list-content']/div[@class='post-reply-list-content']/div[@class='reply-list-wrapper']/div[@class='m-c']/div[@class='bbs-thread-comp main-thread']/div[@class='thread-content-detail']/p"
comment_list=tree.xpath(comment_xpath)
comment_list = [comment.text for comment in comment_list]
if len(comment_list) == 0: # 当页面没有要抓取的信息时,跳出循环
break
while None in comment_list:
comment_list.remove(None)
all_comment.extend(comment_list)
file = "./波兰.txt"
with open(file, "w+", encoding="gb18030") as f :
for comment in zip(all_comment) :
f.write('''"%s"\n''' % (comment))
print("程序执行完毕")
接下来,为了更加直观的看出网友们的态度,我们使用Python来对评论的内容进行分词处理,并将波兰、波兰人、乌克兰、俄罗斯等无法体现评论特色的词加入停用词表中,再利用分词结果绘制词云图。具体代码如下:
#去停用词
stopwordlist=[]
fencilist=[]
resultlist=[]
with open(r"./停用词表.txt",'r',encoding='utf-8') as f:
for i in f:
stopwordlist.append(i)
with open(r'./波兰.txt', 'r',encoding='gb18030') as test:
for line in test:
fencilist.append(line.strip())
for i in fencilist:
if(i not in stopwordlist):
resultlist.append(i)
with open(r"./处理过的分词.txt",'w',encoding='gb18030') as xx:
for x in resultlist:
xx.write(x)
#分词
text = open(r'./处理过的分词.txt', 'r', encoding='gb18030').read()
word_list = jieba.cut(text)
space_word_list = ' '.join(word_list)
keywords = [] # 创建空列表(list)
stopwords = ["波兰人","波兰","俄罗斯","莱万","乌克兰","球迷","拜仁"]
for x, w in anly.extract_tags(space_word_list,topK=200, withWeight=True): # 前200关键词组成的list
if x not in stopwords:
keywords.append(x)
print(keywords)
space_word_list = ' '.join(keywords)
#画词云图
mask_pic = np.array(Image.open("./russia.jpg")) # 调用包PIL中的open方法,读取图片文件,通过numpy中的array方法生成数组
word = WordCloud(
font_path='msyh.ttc', # 设置字体,微软雅黑
scale=4, #设置图片的清晰度
mode = "RGBA",
mask = mask_pic, # 设置背景图片
background_color='FloralWhite', # 设置背景颜色
max_font_size=150, # 设置字体最大值
).generate(space_word_list)
word.recolor(color_func=ImageColorGenerator(mask_pic))
image = word.to_image()
word.to_file('1.png') # 保存图片
image.show()
从图片中可以看到,大家对莱万这番言论的最主要评价是“双标”,而“政治”、“恶心”、“从政”、“场下”等词也表现出了网友们对莱万场下政治行为的厌恶。莱万在场上作为波兰神锋,曾创造过德甲联赛9分钟打入5球的神迹,但是到了场下,却是一个为政治跳脚的“跳梁小丑”。
最后,小编作为一个资深的伪球迷,也想发表下自己的看法。足球界向来标榜“足球无关政治”,但这次官方机构的风向以及欧洲联赛顶级运动员们的表现,却与此宗旨背道而驰。不仅如此,他们表现得还及其双标,在FIFA官方社交媒体的下面,不少留言者提到了巴勒斯坦、伊拉克的例子,表示西方将战火烧到中东时,欧足联和国际足联没有表示,俄乌战争一爆发,这些“足坛话事人”便纷纷站出来“主持公道”。回顾历史,这已经不是欧足联和国际足联第一次这么双标了。人们总是津津乐道于丹麦在1992年欧洲杯创造的童话,却忽视了北欧海盗的参赛资格原本属于南斯拉夫;当1999年北约悍然轰炸南联盟,一众球员为祖国发声,官方组织却不断地以“足球无关政治”为理由对表达爱国情怀的球员进行处罚,而时至今日,莱万甚至戴上了乌克兰色调的队长袖标,政治倾向已经如此明显,欧足联却毫无表示。欧足联和国际足联,平日满口仁义道德,做出的决定却处处表明立场,他们把本该纯粹的足球变成他们参与政治的工具。可能他们永远也不明白,呼吁和平才是他们该做的事情,而不是去制裁那些无辜的人。
腾讯课堂课程二维码
对我们的推文累计打赏超过1000元,我们即可给您开具发票,发票类别为“咨询费”。用心做事,不负您的支持!
往期推文推荐
Stata处理重复值:duplicates
It's time to send a flower to your lover! 2021各省GDP新鲜出炉爬虫实战-采集全国各省疫情数据
log——为你的操作保驾护航
一行代码教你玩转emoji
票房遇冷的春节档口碑冠军丨《狙击手》影评分析
学习丰县,营造良好营商环境!
大国丢娃图:从川渝到徐州!
丰县“失火”,殃及徐州:股市超跌近30亿!
Unicode转义字符——编码与解码
徐州!徐州!
B站弹幕爬虫——冬奥顶流冰墩墩&雪容融
不会用Stata做描述性统计表?so easy!
丰沛之地:备足姨妈巾
过年啦,用Python绘制一幅属于你的春联吧!
登上爬虫俱乐部“时光机” |上“机”出发 开启一段奇妙之旅【基础篇】查找并输出子字符串的定位
Stata中的小清新命令——添加观测值
PCA(主成分分析法)降维——Python实现
超好用的事件研究法
如何绘制任泽平《鼓励生育基金》的几幅图
Python 第六天——字符串
findname——想要什么找什么
Python字符串之“分分合合”
PDF转docx可批量操作?——wordconvert的小技巧
考研之后,文科生需以“do”躬“do”!
手绘五星兴家国——用Stata绘制五星红旗
Seminar丨董事会的性别多样化和企业创新:来自国际的证据Python与数据库交互——窗口函数
Stata之post命令——数据邮递爬虫俱乐部成员的Stata学习经验分享来啦!
Seminar丨2002年萨班斯·奥克斯利法案的经济后果我几乎画出了“隔壁三哥”家的国旗
Python基础——三大数字类型,你都了解吗?如何用Stata绘制带指向性箭头标注的图像
关于我们
微信公众号“Stata and Python数据分析”分享实用的Stata、Python等软件的数据处理知识,欢迎转载、打赏。我们是由李春涛教授领导下的研究生及本科生组成的大数据处理和分析团队。
武汉字符串数据科技有限公司一直为广大用户提供数据采集和分析的服务工作,如果您有这方面的需求,请发邮件到statatraining@163.com,或者直接联系我们的数据中台总工程司海涛先生,电话:18203668525,wechat: super4ht。海涛先生曾长期在香港大学从事研究工作,现为知名985大学的博士生,爬虫俱乐部网络爬虫技术和正则表达式的课程负责人。
此外,欢迎大家踊跃投稿,介绍一些关于Stata和Python的数据处理和分析技巧。
投稿邮箱:statatraining@163.com投稿要求:
1)必须原创,禁止抄袭;
2)必须准确,详细,有例子,有截图;
注意事项:
1)所有投稿都会经过本公众号运营团队成员的审核,审核通过才可录用,一经录用,会在该推文里为作者署名,并有赏金分成。
2)邮件请注明投稿,邮件名称为“投稿+推文名称”。
3)应广大读者要求,现开通有偿问答服务,如果大家遇到有关数据处理、分析等问题,可以在公众号中提出,只需支付少量赏金,我们会在后期的推文里给予解答。